Capture de sites Web en ligne

Conférence B.N.F, Avril 2004
Xavier Roche(HTTrack)

http://www.httrack.com

1

Pourquoi copier des sites web?

Archivage pour conservation et/ou historisation

Archivage pour raisons légales

Miroirs de sites pour des raisons de redondance

Copies pour une mise à disposition non connectée

Copies par des particuliers (copie privée)

Agents intelligents, stress de réseaux, validation de liens cassés ou des liens externes, plan du site…

1

Le « Web », qu’est-ce que c’est ?

Internet

WWW

HTTP

https:

HTTPS

news:

FTP

mailto:

Email

ftp:

News

Ressources locales (fichiers)

http:

file:

Fichiers

1

Un « serveur Web », qu’est-ce que c’est?

Fichiers, archives

Base de données

Traitements

Éléments extérieurs

(capteurs, etc.)

Serveur Web

Contenus

Requêtes

et contenus

Client

1

Le serveur web: un « livreur » de contenus

Fichiers, archives

Base de données

Traitements

Éléments extérieurs

(capteurs, etc.)

Serveur Web

Contenus

Requêtes

et contenus

Client

« Page Web»

table_001

template.php

1

Les documents hypertexte

1

Les liens hypertexte

1

Copie locale d’un « site Web» ?

1

Ressources locales (fichiers)

Copie locale d’un « site Web»

template.php

template2.php

…

table_001

table_002

…

Serveur Web

disque local

1

Le « nommage » local des fichiers en ligne copiés

1

Nommage des fichiers copiés

Exemple: fichier html

Windows

Linux/Unix

1

Nommage : restrictions

Nommage des fichiers comportant des « caractères spéciaux »

1

Nommage : duplications

Duplication de noms

+

1

Nommage : solutions

Résoudre les collisions

+

+

1

Modification des liens hypertexte

1

Les problèmes apparaissent!

1

Les problèmes apparaissent!

Les liens:

<a href= 'page 2.html'>

<a href= "page%202.html">

<a href= page%202.html>

<a href= "page 2

.html">

<a href= "http:page 2.html">

<a href= "//www.example.com/page 2.html">

<a href= "page&nbsp;2.html">

<a href <a href= "page2.html">>

1

Les problèmes apparaissent!

Les formulaires:

1

Les problèmes apparaissent!

Les formulaires (suite) :

1

Les problèmes apparaissent!

Javascript :

1

Les problèmes apparaissent!

Java :

1

Les problèmes apparaissent!

Flash :

1

Les problèmes apparaissent!

Fichiers hypertextes vs binaires (Java/Flash) :

un fichier html

un fichier « flash »

1

Les problèmes apparaissent!

« Horodatage » intégré aux liens hypertexte

http://www.example.com/page2.html?t=19993112235959999

Liens multiples vers un seul document

http://www.example.com/forum/article.php?id=1234

http://www.example.com/forum/article.php?id=1233&next

http://www.example.com/forum/article.php?id=5678&previous

http://www.example.com/forum/article.php?id=6548&previous10

http://www.example.com/forum/article.php?id=879&next10

...

Etc etc etc

1

Aperçu de quelques autres problèmes

Taille limite des fichiers

Gestion des erreurs, des liens cassés

Sites protégés par mot de passe

Sites utilisant des « cookies » / des sessions

Fichiers locaux « Intranet » (file://)

Sites sécurisés (HTTPS)

Sites ftp

Sites accessibles via Ipv6 uniquement (recherche, universités)

1

Mise à jour ?

1

Mise à jour ?

Document capturé le 15/01/2004 à 17h32

Une version plus récente est-elle disponible aujourd’hui ?

Économie de bande passante

Économie de temps

Économie d’espace de stockage

1

Mise à jour « incrémentale » (1)

document mis à jour depuis le 15/01/2004 à 17h32?

interrogation du système de fichiers

oui, nouveau document disponible

1

Mise à jour « incrémentale » (2)

le document « 098f6bcd4621d373cade4e832627b4f6 » est il périmé ?

interrogation de la base de donnée

oui, je vous transmet le document « ad0234829205b9033196ba818f7a872b»

1

Les précautions à prendre lors de la capture d’un site

1

Les précautions à prendre : surcharge du site

Limiter la bande passante et le nombre de connexions simultanées!

1

Les précautions à prendre : aspects légaux ?

Copie privée / publique ?

Protection du site ? (loi n°95-597 du 1er juillet 1992 , art l 353-3 du CPI)

Statut d’un aspirateur de sites Web ?

Navigateur?

Robot?

Proxy-cache?

1

Conclusion

…

PowerPoint Presentation

roche

2004-04-03T15:07:25